Khương Đại Vệ tên thật là Khương Vỹ Niên, tên tiếng Anh là David, anh sinh ngày 29 tháng 6 năm 1947, tại Tô Châu, cha là Nghiêm Hóa - nam diễn viên nổi tiếng thập niên 40. Nghiêm Hóa tên thật là Khương Khắc Kỳ, năm 1937 bắt đầu sự nghiệp đóng phim ở Thượng Hải. Năm 1942, khi tham gia phim điện ảnh Xuân, ông yêu và kết hôn với nữ diễn viên Hồng Vy, sinh được 3 cậu con trai và 1 cô con gái. Cậu con trai thứ hai Khương Xương Niên và con trai thứ ba Khương Vĩ Niên chính là hai nam diễn viên Tần Bái và Khương Đại Vệ.

Năm 1947, Nghiêm Hoá và gia đình di cư sang Hong Kong. Trong vòng 3 năm, ông đóng hơn 20 bộ phim. Năm 1951, Nghiêm Hoá mất do bệnh ung thư, hưởng dương 33 tuổi. Chồng mất sớm, một mình Hồng Vy tần tảo nuôi dạy 4 đứa con thành người. Hồng Vy không phải là diễn viên nổi tiếng, bà chỉ đóng vai phụ, lúc không đóng phim, bà làm giáo viên dạy tiếng Quan Thoại, thu nhập thấp nên không đủ trang trải chi tiêu cho các con. Do đó, khi Tần Bái được 6 tuổi, Khương Đại Vệ mới 4 tuổi, hai anh em họ đã đi đóng phim kiếm tiền phụ giúp mẹ, lấy nghệ danh Nghiêm Sương và Nghiêm Vĩ.

Năm 1957, Hồng Vy tái hôn với nhà chế tác Nhĩ Quang, người sáng lập ra công ty điện ảnh Tân Thiên. Kết quả của cuộc tình mới đã sinh ra Nhĩ Đông Thăng, hiện là đạo diễn nổi tiếng ở Hong Kong. Bộ phim đầu tiên Nhĩ Quang sản xuất là Thiên Thần trên đường phố, quy tụ dàn diễn viên gia đình: Hồng Vy, Nghiêm Xương, Nghiêm Vỹ, Nghiêm Tuệ (em gái của Tần Bái và Khương Đại Vệ). Năm 1958, Nhĩ Quang thực hiện tiếp bộ phim Trẻ lang thang. Đây cũng là cuộc tổng động viên cả nhà cùng tham gia đóng phim.